AI兩階段：訓練模型、推論未來
AI有2個階段，第一階段是訓練（Training）或學習（Learning），第二階段是推論（Inference）或預測（Prediction）。在第一階段有3個步驟，就是把資料輸入電腦，找出規則，建立模型，這個模型（Model）就是指資料的規則。
找到模型之後，接著進入第二階段，推論或預測就是指利用找到的模型預測未來。比如蒐集過去30年的財經數據和台積電的股價，然後把這些資料輸入電腦，找出規則，建立模型，最後得到台積電股價和財經數據相關性的模型。
接著利用這個模型，來推論、預測台積電的股價。我可以在台積電開盤前，去搜集今天早上最新的財經數據，輸入模型就可以預測台積電的股價，也就是現在投資理財機器人在做的事。
這個訓練因為需要大量的數據運算，所以需要AI伺服器，這也是為什麼過去一年多，AI伺服器相關股票大漲的原因。訓練一定要有雲端伺服器，那推論呢？你們認為是訓練比較花時間，還是推論比較花時間？答案是訓練。
就像學英文，你花了10年時間，把英文字母和聲音輸入大腦，找出規則，建立模型，這叫訓練；但你看到外國人要講英文的時候，外國人問你什麼你就回什麼，只要10秒鐘，這叫推論。所以訓練非常花時間，但推論只要一瞬間。
所以訓練一定要雲端伺服器，推論也可以用雲端伺服器，比如用過ChatGPT的人就知道，你把資料丟到雲端，推論完再丟回來，大概要10秒鐘。有些人覺得這樣太慢了，解決方法就是把推論運算從雲端搬到終端裝置，也就是我們的手機和筆電，英特爾的執行長把這稱為「AI PC」。
但問題是現在的CPU跑不動推論運算，所以就在CPU裡面加裝一個AI加速器，業界習慣稱為「NPU」，也就是「神經處理器」。
大家不要被這個字眼誤導了，神經處理器其實和人類大腦的神經沒有直接的關係，NPU是一種特定應用積體電路，專門針對類神經網路推論的數學運算，而製造的加速器，這是未來的趨勢。
生成式AI顛覆世界
AI分兩種，第一種是決策式AI，就是輸入資料，找出規則，建立模型後，利用這個模型做決策，比如前面提到用投資理財機器人判斷台積電股票會漲會跌，或自駕車開到路口要往左轉或右轉。
第二種是生成式AI，就是把資料輸入電腦，找出規則，建立模型後，利用這個模型來產生新的內容，這叫生成。例如用編劇寫過的劇本建立模型，產生新的劇本；
也可以用畫家的畫建立模型，產生新的畫。去年好萊塢大罷工，就是因為好萊塢的編劇從沒想過，你拿我的劇本去訓練模型，直接產生新劇本，最後把我給取代了。
電腦為什麼這麼難理解人的意思，請看以下這個句子：He saw a woman in the garden with a telescope，以前電腦翻譯都翻得不好，就是把英文翻成中文：「他用望遠鏡在花園看女生。」在花園裡的人是男生還是女生？拿望遠鏡的人是男生還是女生？
但其實這一句話是：男生拿望遠鏡看風景時，看到有一位女生在花園裡。人類看到英文，大腦就會浮現景象，應該是男生拿望遠鏡看女生，女生在花園裡賞花，因為人類會根據我們的人生經驗，會拿望遠鏡偷窺的，通常是男生；會在花園裡賞花的，通常是女生。
所以電腦翻譯或聊天機器人跟你對話的時候，用字要精準的方法很簡單，電腦不是只知道要怎麼回答你而已，他要知道這個事件發生的機率。
比如男生拿望遠鏡偷窺的機率，女生拿望遠鏡偷窺的機率；男生在花園賞花的機率，女生的花園賞花的機率，當你去拼湊中文字的時候，利用電腦去算機率，結果發現男生拿望遠鏡的機率高，女生賞花的機率高，這樣翻譯出來的句子就會變成，男生拿望遠鏡看女生在花園裡賞花，就跟我們一般人想的一樣。
AI實際上就是一個算機率的模型，這個模型稱為「人工神經網路」（ANN），或是稱為「類神經網路」。
ChatGPT有1,750億個參數，或稱「權重」（Weight），就是代表ChatGPT計算文字排列組合機率的神經網路有1,750億個。而訓練這個類神經網路的方法，就是把人類講過的話，輸入類神經網路，然後計算它輸出正確句子的機率。
GAI為何一本正經胡說八道
那什麼是GPT？也就是Generative Pre-trained Transformer，生成型預訓練變換模型。Transformer這個字很重要，因為這一年多來，所有的聊天機器人、生成式AI，用的模型都是Transformer，這是由Google Brain團隊在2017年開發出來的。
Transformer的做法是，首先用大規模沒有標注的語料數據去預訓練模型，這個動作需要大量的運算資源，像ChatGPT的語料訓練，需要超過1萬個處理器跑1個月，成本大概是3,000萬美金，所以大部分的人沒有辦法負擔。
預訓練完之後，再用少量標注的資料去微調，這個微調不太需要運算力，但是比較需要記憶體。最後才來做推論，也就是特定領域的模型。
ChatGPT利用高達45TB沒有標注的資料去做預訓練，然後再讓使用者微調，但我要提醒的是，其實預訓練完它的基底就定了，所以訓練出來的模型基本上不會很精準，微調也只能調裡面一部分的參數而已，這也是為什麼ChatGPT會一本正經胡說八道的原因。
現在我和朋友創業，幫企業導入AI，一開始也是拿人家預訓練好的模型來用，結果發現不行，因為企業大腦要的是精確度，不可以胡說八道。
後來我們就幫企業整理資料，再幫企業做預訓練，產出的參數就比較精準，這時再用少量的參數去微調，用這樣的方式訓練出來的企業大腦，精確度就比較高了。
下一波AI觀察重點：Open GIR
AI下一步的觀察重點，就是資訊檢索（Information Retrieval；IR），也就是輸入關鍵字，讓搜尋引擎搜尋，這是我們從1996年到現在，用搜尋引擎做的事，搜尋完之後，使用者要一個一個點進去看，判斷哪個資料是我要的。
但科學家現在在做的是生成式資訊檢索（Generative Information Retrieval；GIR），有兩個方法，第一個是封閉型生成式資訊檢索（Close GIR），就是只依靠大型語言模型為單一知識來源，比如用ChatGPT取代Google，但它沒有辦法解決一本正經胡說八道的問題，在AI領域的專有名詞叫「幻覺」。
解決的方法，就是第二個開放型生成式資訊線索（Open GIR），也就是利用大型語言模型外加搜尋引擎，也稱為檢索增強生成（RAG）。
最簡單的例子，就像《鋼鐵人》裡的智慧助理賈維斯，就是一個生成式資訊檢索，當你問他問題，他會去資料庫搜尋，再把資料重新排列組合，最後把答案直接告訴你，而不是你要一個一個點進去看。
但現在這種方式還是會一本正經胡說八道，這個問題目前還沒有解決，所以觀察的指標是，未來2、3年，搜尋引擎是否慢慢轉成Open GIR，而且不會胡說八道。
我們現在也幫企業做一個APP，讓企業員工透過語音或者文字，把大腦中的知識輸入電腦，找出規則，建立模型，訓練所謂的企業大腦，也就是賈維斯。如此一來，企業的賈維斯就會一直增加新的知識，慢慢累積起來，未來當資深員工離職，對企業就沒有影響。
大家可能會好奇，用Open AI不能做到嗎？答案是不能。原因很簡單，如果台積電要做一個賈維斯，它用Open AI或微軟的語言模型，就必須把台積電所有資料上傳到微軟的雲端，但私人企業不可能把機密資料放在公有雲上。
台積電有能力養很多工程師，自己開發賈維斯，但一般企業可能沒辦法，所以未來一定有一個需求，也就是企業請外部公司協助建立賈維斯，這正是前科技部長陳良基提出的「AI Foundry」模式，在未來一定會發生。
科技發展到最後，很多人尤其是文法商背景的人，都擔心會被淘汰，但我認為未來的世界，會被淘汰的人是不會用AI幫你工作的人，文法商的背景知識仍然重要，因為要預訓練、整理那些資料，但如果你只會背法條，而不會用AI協助你整理資料，就會被淘汰。
所以各位要培養自己對AI的熟悉度，未來在職場，對科技沒有「FU」的人，很難有競爭力。
※本文授權自工業技術與資訊月刊，未經同意請勿轉載。
.jpg)